Mustafi sinh tại Bad Hersfeld, Hesse, Đức trong một gia đình người Albania. Anh từng có thời gian tại các đội trẻ của 1. FC Bebra và SV Rotenburg, trước khi vào đội trẻ Hamburger SV năm 2006.

Everton

Tháng 5 năm 2009, Mustafi đến đội trẻ của Everton sau khi từ chối những lời mời từ Manchester City và Newcastle United.[2] Ngày 16 tháng 12 năm 2009, anh có trận đấu đầu tiên cho Everton khi vào sân ở phút thứ 75 cuộc đối đầu với BATE Borisov trong khuôn khổ UEFA Europa League. Tuy nhiên đó cũng là lần xuất hiện duy nhất khi giai đoạn còn lại ở nước Anh, Mustafi chỉ chơi cho đội U-21 Everton.[3]

Sampdoria

Tháng 1 năm 2012, Mustafi rời Everton để đến Ý thi đấu cho U.C. Sampdoria tại giải Serie B theo dạng chuyển nhượng tự do.[4] Mustafi có trận đấu đầu tiên cho Sampdoria vào ngày 26 tháng 5 năm 2012, trong trận thua 1-3 trước Varese tại Serie B.

Từ mùa bóng 2012-13, Mustafi cùng Sampdoria thi đấu ở giải Serie A. Trận đấu đầu tiên của anh tại giải đấu cao nhất nước Ý là cuộc đối đầu với Palermo ngày 11 tháng 11 năm 2012.[5] Ngày 26 tháng 10 năm 2013, anh ghi bàn thắng duy nhất trong trận đấu với Atalanta.[6] Trong mùa giải 2012-13, anh chỉ là phương án dự phòng nhưng trong mùa giải tiếp theo đã thường xuyên có mặt trong đội hình xuất phát.[7] Đến thời điểm rời Sampdoria, anh đã có tổng cộng 53 lần ra sân cho đội bóng Ý.[8]

Valencia

Ngày 7 tháng 8 năm 2014, Mustafi chuyển đến La Liga thi đấu cho Valencia CF theo hợp đồng chuyển nhượng trị giá 8 triệu €.[9] Anh có trận đấu ra mắt đội bóng vào ngày 25 tháng 9 gặp Córdoba. Một tháng sau đó, anh có được bàn thắng đầu tiên tại Tây Ban Nha, góp công vào chiến thắng 3–1 trước Elche.[10] Ngày 2 tháng 11 năm 2014, anh lập cú đúp trong trận Valencia thắng Villarreal 3-1.[11]

Ngày 3 tháng 3 năm 2016, trong trận đấu tại Cúp Nhà vua Tây Ban Nha với Barcelona, Mustafi nhận thẻ đỏ trực tiếp và đội bóng của anh còn phải chịu một quả phạt đền sau pha phạm lỗi trong vòng cấm của anh với Lionel Messi. Chung cuộc Valencia đã để thua 0-7.[12]

Arsenal

Ngày 30 tháng 8 năm 2016, Mustafi đến với câu lạc bộ Arsenal với phí chuyển nhượng ước tính hơn 35 triệu £.[13] Ngày 10 tháng 9, anh có trận đấu đầu tiên tại Premier League trong chiến thắng 2-1 trước Southampton trên Sân vận động Emirates.[14] Đầu tháng 12, Mustafi bị chấn thương gân khoeo trong chiến thắng 3-1 trước Stoke City và phải nghỉ thi đấu ba tuần khi đang thể hiện được phong độ tốt.[15] Với Mustafi trong đội hình chính thức, Arsenal đã có chuỗi 22 trận bất bại, trong đó có 15 trận tại Premier League trước khi bị Watford đánh bại vào ngày 31 tháng 1 năm 2017.[16]

Ngày 22 tháng 1 năm 2017, anh có bàn thắng đầu tiên cho Arsenal, đem về chiến thắng 2-1 trước Burnley.[17]

Ngày 1 tháng 2 năm 2021, Arsenal và Mustafi đi đến thỏa thuận chấm dứt hợp đồng sớm trước thời hạn.[18] Mustafi có 4 năm rưỡi gắn bó cùng Arsenal với 151 lần ra sân trên mọi đấu trường và 9 bàn thắng.[19]

Schalke 04

Ngày 1 tháng 2 năm 2021, Mustafi trở thành cầu thủ của Schalke.[20] Anh là sự thay thế cho trung vệ Ozan Kabak chuyển đến Liverpool theo hợp đồng cho mượn có thời hạn 6 tháng.[21]